Nguyễn Hữu An tham gia và trưởng thành trong quân đội từ những ngày đầu của cuộc kháng chiến chống Pháp. Ông đã trực tiếp chiến đấu và chỉ huy các trận đánh ở đèo Bông Lau, Lũng Phầy năm 1949, trong chiến dịch biên giới năm 1950, ông là tiểu đoàn trưởng tiểu đoàn 251 chủ công của trung đoàn 174 (trung đoàn Cao Bắc Lạng) tấn công và tiêu diệt đồn Đông Khê, mở đầu thắng lợi cho chiến dịch. Ông đã lần lượt là tiểu đoàn trưởng, trung đoàn phó trong các trận chiến thắng ở Bình Liêu, Vĩnh Phúc, Mộc Châu... Trong chiến dịch Điện Biên Phủ, ông là trung đoàn trưởng trung đoàn 174, thuộc đại đoàn 316, 3 lần tấn công đồi A1. Đây cũng là một trong những chỉ huy trẻ nhất của mặt trận Điện Biên, khi đó ông mới 28 tuổi.

Sáng 7 tháng 5 năm 1954 trung đoàn 174 dưới sự chỉ huy của ông đã tiêu diệt hoàn toàn cứ điểm A1, mở đường đánh vào cánh đồng Mường Thanh, kết thúc chiến dịch Điện Biên Phủ. Trong trận này chính Nguyễn Hữu An là người chỉ huy cho kích nổ khối bộc phá 1000 kg làm tan nát đồi A1.